Проект 7. Анализ убытков приложения ProcrastinatePRO+

Оглавление

1. Описание и цель проекта
2. Загрузка данных и подготовка их к анализу
3. Задаем функции для расчёта и анализа LTV, ROI, удержания и конверсии
3.1 Функция для создания пользовательских профилей
3.2 Функция для расчёта удержания
3.3 Функция для расчёта конверсии
3.4 Функция для расчёта LTV и ROI
3.5 Функция для сглаживания фрейма
3.6 Функция для визуализации удержания
3.7 Функция для построения графика конверсии и ее визуализации
3.8 Функция для создания пользовательских профилей
4. Исследовательский анализ данных
4.1 Профили пользователей. Минимальная и максимальная даты привлечения пользователей.
4.2 Таблица, отражающая количество пользователей, покупателей и долю платящих пользователей по странам.
4.3 Таблица, отражающая количество пользователей, покупателей и долю платящих пользователей для каждого устройства.
4.4 Таблица, отражающая количество пользователей, покупателей и долю платящих пользователей для каждого канала привлечения.
4.5 Динамика привлечения новых пользователей по каждому из регионов, девайсов и каналов привлечения.
5. Маркетинг
5.1 Общая сумма расходов на маркетинг
5.2 Распределение трат по рекламным источникам.
5.3 Визуализация динамики изменения расходов во времени (по неделям и месяцам) по каждому источнику.
5.4 Сколько в среднем стоило привлечение одного пользователя (CAC) из каждого источника?
5.5 Предварительные выводы.
6. Оцените окупаемость рекламы
6.1 Окупаемость рекламы c помощью графиков LTV и ROI. Графики динамики LTV, CAC и ROI анализ.
6.2 Конверсия пользователей и динамика её изменения. Удержание пользователей и его динамика. Графики.
6.3 Окупаемость рекламы с разбивкой по устройствам.
6.4 Окупаемость рекламы с разбивкой по рекламным странам.
6.5 Окупаемость рекламы с разбивкой по рекламным каналам.
6.6 Окупается ли реклама, направленная на привлечение пользователей в целом?
6.7 Какие устройства, страны и рекламные каналы могут оказывать негативное влияние на окупаемость рекламы?
6.8 Конверсия пользователей с разбивкой по устройствам
6.9 Удержание пользователей с разбивкой по устройствам 6.10 Конверсия и удержание пользователей с разбивкой по странам
6.11 Удержание пользователей с разбивкой по странам
6.12 Конверсия и удержание пользователей с разбивкой по каналам
6.13 Выводы по разделу 6
7. Конверсия и удержание по макрорегионам]
8. Выводы

1. Описание и цель проекта

К плану работ

Я — маркетинговый аналитик развлекательного приложения Procrastinate Pro+. Несмотря на огромные вложения в рекламу, последние несколько месяцев компания терпит убытки.

__Моя цель:__

Есть данные о пользователях, привлечённых с 1 мая по 27 октября 2019 года:

__Нам предстоит изучить:__

__**Описание данных**__

В вашем распоряжении три датасета.

Файл visits_info_short.csv хранит лог сервера с информацией о посещениях сайта,

orders_info_short.csv — информацию о заказах,
а costs_info_short.csv — информацию о расходах на рекламу.

Структура visits_info_short.csv:

User Id — уникальный идентификатор пользователя,
Region — страна пользователя,
Device — тип устройства пользователя,
Channel — идентификатор источника перехода,
Session Start — дата и время начала сессии,
Session End — дата и время окончания сессии.

Структура orders_info_short.csv:

User Id — уникальный идентификатор пользователя,
Event Dt — дата и время покупки,
Revenue — сумма заказа.

Структура costs_info_short.csv:

dt — дата проведения рекламной кампании,
Channel — идентификатор рекламного источника,
costs — расходы на эту кампанию.

2. Загрузка данных и подготовка их к анализу

К плану работ

Загрузим данные о визитах, заказах и рекламных расходах из CSV-файлов в переменные.

Пути к файлам

Изучите данные и выполните предобработку. Есть ли в данных пропуски и дубликаты? Убедитесь, что типы данных во всех колонках соответствуют сохранённым в них значениям. Обратите внимание на столбцы с датой и временем.

Вывод:

данные загружены и предобработаны, дубликатов нет.
нужные форматы данных заданы - visits['session_start'], visits['session_end'], orders['event_dt'], costs['dt']
переименованы столбцы на те же что и в функциях.

3. Задаем функции для расчёта и анализа LTV, ROI, удержания и конверсии.

К плану работ

В данном учебном проекте разрешается использовать функции, с которыми познакомились в теоретических уроках.

Это функции для вычисления значений метрик:

А также функции для построения графиков:

3.1 Функция для создания пользовательских профилей

К плану работ

3.2 Функция для расчёта удержания

К плану работ

3.3 Функция для расчёта конверсии

К плану работ

3.4 Функция для расчёта LTV и ROI

К плану работ

3.5 Функция для сглаживания фрейма

К плану работ

3.6 Функция для визуализации удержания

К плану работ

3.7 Функция для построения графика конверсии и ее визуализации

К плану работ

3.8 Функция для создания пользовательских профилей

К плану работ

Вывод:

Функции для конверсии, удержания, накопленной прибыли и стоимости привлечения пользователей и их графиков загружены и готовы к использованию

4. Исследовательский анализ данных

К плану работ
Для исследования наших данных выполним следующие действия:

4.1 Профили пользователей. Минимальная и максимальная даты привлечения пользователей.

К плану работ

Получили профили и проверили на всякий случай дубликаты и пропуски

Минимальную и максимальную дату привлечения определили, назначаем момент и горизонт анализа

Вывод:

мы создали таблицу профилей пользователей, определили максимальную дату привлечения пользователей - 27 октября 20019 года - она же observation_date и минимальную дату привдечения пользователей - 1 мая 2019 года и задали горизонт анализа 14 дней

Имея готовые профили пользователей, легко узнать количество привлечённых посетителей из каждой страны. Достаточно сгруппировать профили по региону и посчитать количество уникальных ID функцией nunique(), далее сортируем по количеству пользователей в убывающем порядке

4.2 Таблица, отражающая количество пользователей, покупателей и долю платящих пользователей по странам.

К плану работ

Выводы

Безусловным лидером по количеству посетителей и покупателей является США (это вполне естественно - они нация потребителей - даже если суммарно сложить всех пользователей прочих стран мы едва получим половину от всех пользователей Штатов, при этом и доля покупателей и Америки самая высокая и с отрывом от остальных стран). На втором месте по посетителям UK, на третьем France, на последнем - Germany. На втором, третьем и четвертом местах по покупателям - распределение аналогично. Однако по доле конвертации из посетителей в покупатели - Германия на втором месте после США, Великобритания и Франция на третьем и четвертом местах соответственно.
Лидерами по конвертации посетителей в покупателей являются США и Германия. Причем Германия среди Европейских стран лидер в такой конвертации. Немцы меньше смотрят, и больше покупают(в отличии от UK и France) - никакой ветренности, сплошной немецкий прагматизм.

4.3 Таблица, отражающая количество пользователей, покупателей и долю платящих пользователей для каждого устройства.

К плану работ

Выводы

Больше всего посетителей заходит с iPhone и Android, соответственно и покупателей больше всего с этих двух устройств. Однако, в процентном соотношении доля людей перешедших из разряда посетителей в покупатели максимальная на устройствах Mac. Далее по степени уменьшения конвертации посетителей в покупатели идут iPhone, Android и PC. Можно сделать вывод о том, что мобильные устройства легко привлекают посетителей - потому что количество времени которое люди проводят просматривая экран смартфона скорее всего выше чем компьютеров и планшетов. Максимальная конвертация в плательщиков у владельцев Mac - объясняется просто - все владельцы дорогих комрьютеров фирмы Apple - весьма занятые и состоятельные люди. Если им что-то надо, они заходят, выбираю и платят. Хуже всего обстоят дела у пользователей девайсов PC - это олдскульные персональные компьютеры, владельцы их не слишком платежеспособны, консервативны и, что вполне вероятно являются пользователями мобильных устройств параллельно. Рассмотрев разбивку по странам мы видим, что устройства компании Apple лидируют прежде всего в США.

4.4 Таблица, отражающая количество пользователей, покупателей и долю платящих пользователей для каждого канала привлечения.

К плану работ

Выводы

максимально количество посетителей дал органический канал привлечения посетителей, однако конвертация в плательщиков таких посетителей всего 2%. Поскольку компания ничего за таких посетителей не платит, то и эти покупатели важны, тем более что по количеству покупателей канал organic на третьем месте - это свидетельствует об интересе людей в интернете тематикой того что предлагает компания (профессиональная прокастинация - вполне вероятно что многие лди страдают отсутствием мотивации в жизни и ищут способы преодолеть прокастинацию, параллельно с поиском информации они получают предложение компании, и соответственно - покупают).Второй по привлечению посетителей канал - это FaceBoom - реклама в нем дает второй по значимости приток посетителей на сайт и первый по количеству притока покупателей. Соответственно конверсия 12,2% - весьма высока и по этому показателю FaceBoom на первом месте. Третьим по количеству посетителей и по количеству покупателей канал TipTop. Однако по уровню конвертации этот канал лишь на 4-м месте - 9,6%. На втором месте по конвертации посетителей в покупателей стоит компания AdNonSense, но количество посетителей в ней занимает 9-е место, а количестве покупателей - пятое - следовательно предположим, что это один из перспективных каналов привлечения покупателей. lambdaMediaAds - конверсия этого канала занимает 3-е место - тоже перспективная, но по количеству привлеченных посетителей и покупателей - эта компания занимает послединие места, есть вероятность что высокая конверсия просто связана с небольшой выборкой посетителей. RocketSuperAds - канал на 5-м месте по уровню конверсии посетителей в покупатели, по количеству привлечения посетителей и покупателей он в середине рейтинга, поэтому будем тоже считать это канал перспективным. Два платных канала привлечения посетителей и покупателей OppleCreativeMedia и LeapBob имеют конверсию в покупатели в районе погрешности 3% - это явные аутсайдеры на размещение у них рекламы. YRabbit и MediaTornado - лидеры антирейтинга привлечения покупателей, возможно из-за недофинансированности - их можно смело занести в аутсайдеры, перспективность размещения рекламы на этих каналах стремится к нулю на первый взгляд. WahooNetBanner - на 6-м месте по конвертации посетителей в покупателей, она ниже чем у TipTop почти в 2 раза, судя по всему страрый канал - взрослая платежеспособная аудитория, но охват недостаточен.

4.5 Динамика привлечения новых пользователей по каждому из регионов, девайсов и каналов привлечения.

К плану работ
Также мы можем бонусом построить графики, отображающие динамику привлечения новых пользователей по каждому из регионов, девайсов и каналов привлечения. Применим метод plot()

Вывод: графики показывают схожую между собой динамику, это свидетельствует о взаимовлиянии рекламных компаний или о доминировании отдельных каналов. Привлечение ничто - платежеспособность всё! В США привлекается большая часть пользователей, также большая часть пользователей приходит через IPhone и по канали "органика"

5 Маркетинг

К плану работ .

5.1 Общая сумма расходов на маркетинг

К плану работ

Посчитаем заодно и полную сумму покупок в датасете

5.2 Распределение трат по рекламным источникам.

К плану работ
Выясним, как траты распределены по рекламным источникам, то есть сколько денег потратили на каждый источник

Выводы

Максимум расходов на рекламу компания сделала через сеть TipTop, на втором месте канал FaceBoom, на третьем WahooNetBanner. Причем первые 2 строчки получили львиную долю финансирования порядка 80%. WahooNetBanner - 4.88% и AdNonSense - 3.71% - идут на 3-м и 4-м местах, но уровень вложений в эти каналы на порядок меньше. Остальные каналы имеют долю финансирования менее 3% - скорее всего вложения в них имели целью протестировать отдачу. Полная сумма рекламных вложений - 105 497 - весьма внушительный бюджет. Заработала же компания лишь 215 963 - чуть больше чем 100% сверху. Если отнять операционные расходы компании - не уверена что владельцы и инвесторы остались довольны результатом.

5.3 Визуализация динамики изменения расходов во времени (по неделям и месяцам) по каждому источнику.

К плану работ
строим визуализацию динамики изменения расходов во времени (по неделям и месяцам) по каждому источнику на одном графике.

Выводы

Существенно росли затраты на рекламу в основном в TipTop, большую долю "съедал" канал FaceBoom. Канал lambdaMediaAds - реклама была сокращена через месяц, WahooNetBanner - реклама стабильно была выше чем в остальных каналах кроме перечисленных. Складывается ощущение что в исследуемый период была битва за рекламный бюджет компании Procrastinate Pro+ первых 2-х каналов и TipTop - победил. Интересно, почему нет данных по продажам в Китай, ведь это, судя по всему, китайская сеть. График с разбивкой по месяцам и по неделям показал что летние месяцы рекламные расходы были стабилизированы даже в TipTop и FaceBoom, резкий рост затрат на этих каналах произошел в сентябре - видимо с окончанием сезона отпусков и началом учебного года и сезона деловой активности. Однако, скорее всего именно всплеск сентябрьской маркетинговой активности и "подкосил" окупаемость рекламных расходов.

5.4 Сколько в среднем стоило привлечение одного пользователя (CAC) из каждого источника?

К плану работ
Узнаем, сколько в среднем стоило привлечение одного пользователя (CAC) из каждого источника. Использем профили пользователей

5.5 Предварительные выводы.

К плану работ

Компания производящая приложение Procrastinate Pro+ потратила почти 50% оборота на рекламу в различных каналах, максимум в TipTop. Медианная стоимость привлечения покупателей в этой сети в 3 раза превышает CAC во втором по бюджету канале FaceBoom. Любо в компании маркетингом рулили китайские сотрудники, либо любители именно этой сети, либо 2019 год был пиком популярности именно этой сети. Есть еще версия что маркетологи были отностиельно молоды и не учли что Procrastinate - как мейнстрим интересна совсен не той возрастной аудитории, котрая присуща TipTop, а гораздо старше. Еще есть версия что этот канал был просто изначально переоценен по значимости. Насколько я знаю - реклама в TipTop стоит дорого, а отдачу приности небольшую. В любом случае маркетинговую политику надо менять в пользу более консервативных каналов, которые посещают люди интересующиеся прокастинацией. Медианная стоимость привлечения одного покупателя без каналов TipTop и organic на 40% ниже чем с ними. Если оценить процент конвертации в покупателей к затратам на привлечение - то самым выгодным каналом привлечения окажется RocketSuperAds, также перспективными будут вложения в каналы YRabbit, MediaTornado и LeapBob. В данном случае мы не учитываем качество плательщиков из этих каналов а лишь их количество. Поэтому если компания нацелена на привлечение потока клиентов любыми доступными средствами, то текомендации остаются в силе. Если задача получить максимум прибыли из вложений, то исследование надо продолжить.

6 Окупаемость рекламы

К плану работ

Используя графики LTV, ROI и CAC, проанализируем окупаемость рекламы. Считаем, что на календаре 1 ноября 2019 года, а в бизнес-плане заложено, что пользователи должны окупаться не позднее чем через две недели после привлечения. Необходимость включения в анализ органических пользователей определим самостоятельно.

6.1 Окупаемость рекламы c помощью графиков LTV и ROI. Графики динамики LTV, CAC и ROI анализ.

К плану работ
Проанализируем окупаемость рекламы c помощью графиков LTV и ROI, а также графики динамики LTV, CAC и ROI.

Если рассматривать случай с пользователями на которых не был затрачен рекламный бюджет, то окупаемость рекламных вложений к 14-му дню лайфтайма приблизилась к единице - достигла окупаемости. Если смотреть в динамике ROI держалась выше уровня окупаемости до конца июня, "плавала" вокруг окупаемости до конца июля, потом пошла на снижение, минимальное значение в конце эксперимента 0,73. Интегральная ROI скорее всего будет равна окупаемости на 14-ый день, что и показал график ROI с лайфтаймами. Формально задание бизнес-плана выполнено, но с учетом бесплатно доставшихся органических покупателей. LTV в динамике колеблется относительно линии 0,7, САС в конце эксперимента 0,85. Могу предположить что компания только что выпустила приложение Procrastinate Pro+ и задача была сделать его максимально узнаваемым. Приставка Pro+ указывает на то, что это скорее всего не первая версия продукта, а релиз, возможно даже не первый. Для узнаваемости приложения должны были выбрать самые известные каналы продвижения, самые популярные девайсы и самые платежеспособные регионы. Возможно еще и размещение рекламы на длительный период времени (оптом дешевле). Однако в рамках этого проекта мы исследуем узкую задачу - рассмотреть эффективность рекламных вложений и их окупаемость по странам, девайсам и каналам, поэтому будем рассматривать вариант отсечения бесплатно пришедших покупателей через канал organic. Наша задача дать рекомендации как потратить рекламный бюджет на предстоящий временной период и как настроить рекламную компанию более точно и эффективно. Кроме того скорее всего задача "узнаваемости" на предстоящий период не стоит, "поле засеяно, нужно собирать урожай" и желательно действовать максимально эффективно. Вывод: канал organic не рассматриваем.

Второй вариант - исключили покупателей пришедших через канал organic, результаты вложений ухудшились, но с точки зрения оценки эффективности вложений это правильно.
По графикам можно сделать такие выводы:
Реклама не окупается. ROI в конце 2-ой недели — чуть более 80%.
CAC увеличился с 0,85 в начале до 1,33 в конце - это почти на 36%. Это однозначно должно повлиять на ROI, особенно если привлечение, удержание и качество покупателей не улучшится так же резко как и затраты на привлечение. Вероятно, проблема может заключаться в бесконтрольном увеличении рекламного бюджета несмотря на отсутствие реакции рынка. Допускаю мысль что маркетологи компании сделали это намеренно с прицелом на более длительный период отдачи инвестиций. На LTV обычно влияет сезонный фактор, но в нашем случае этот показатель достаточно стабилен от 0,8 до 1. Значит, дело не в сезонности и не в изменении качества пользователей. Динамика ROI - инвестиции перестали окупаться уже в конце мая после резкого увеличения затрат на привлечение пользователей в это же время, далее следует лишь один всплеск ROI в динамике - он приходится на середину июля, после окупаемость инвестиций планомерно уходит в минус и достигают 0,6 в самой низкой точке. Продолжим исследование, и выясним как влияют регион, источник и девайс первого посещения на маркетинговые характеристики.

6.2 Конверсия пользователей и динамика её изменения. Удержание пользователей и его динамика. Графики.

К плану работ

Проверим конверсию пользователей и динамику её изменения. То же самое удержание пользователей. Построим и изучим графики конверсии и удержания.

Конверсия

Выводы

Судя по графикам - конверсия к 14-му дню растет и достигает значения - 0,8, однако пляшущий график динамики конверсии показывает ее зависимость от рекламных акций (скорее всего) - есть акция - высокая конверсия, нет акции - конверсия ниже. Очевидно что за период исследования наблюдается затухание амплитуды колебаний конверсии в 2 раза с 0,25 до 0,13. Это может означать что массированные вливания в рекламу дали куммулятивный эффект узнаваемости или, что тоже вероятно, бОльшие траты на рекламу дали бОльший приток покупателей. Тут мы не знаем продолжительость рекламных компаний, поэтому оценить более точно не представляется возможным.

Удержание пользователей

Проверим удержание пользователей и динамику его изменения. Вызовем функции get_retention() и plot_retention(), чтобы рассчитать и отразить на графиках этот показатель:

Выводы

Удержание платящих пользователей заметно выше чем у органических - это ожидаемо и закономерно, динамика удержания пользователей на 14-ый день колеблется от 0,065 до 0,176 в начале иссследования и от 0,075 до 0,106 в конце исследования. Амлитуда колебаний сократилась в 3,5 раза. График удержания пользовалетелей практически повторяет график привлечения пользователей в небольшим временным лагом и одинаковым количеством вершин, что свидетельствует о чувствительности обоих графиков к рекламным вливаниям и к стабилизации привлечения и удержания покупателей при увеличении рекламного бюджета. Средний уровень примерно 0,11, что есть небольшое затухание колебаний - заметного снижения на протяжении эксперимента нет. Ответа на вопрос- почему не окупается реклама мы из них не получили - смотрим дальше.

6.3 Окупаемость рекламы с разбивкой по устройствам.

К плану работ
Проанализируем окупаемость рекламы с разбивкой по устройствам. Построим графики LTV и ROI, а также графики динамики LTV, CAC и ROI: передадим параметру dimensions столбец device.

выводы

Прибыль компании на одного покупателя LTV растет на всех устройствах. Для персонального компьютера как устройства первого входа она растет хуже чем для остальных устройств. Динамика нарастающей прибыли на одного клиента на 14-ый день имеет зубчатый вид относительно одной средней линии, как таковой сезонности не наблюдаем. Реклама окупается только у пользователей персональных компьютеров и то на 14-ый день(ROI). Динамика ROI на 14-ый день ухудшается на всех устройствах, скорее всего именно это связано с увеличением рекламного бюджета. ROI 14-го дня снижается и затухает даже на персональных компьютерах. Это скорее всего связано с увеличением рекламного бюджета и неэффективностью его расходования. Динамика стоимости привлечения CAC растет на всех устройствах, больше всего она растет на устройствах Mac и IPhone, меньше всего на PC. Вывод: затраты на рекламу больше всего были на IPhone и Mac, а окупились только затраты на привлечение пользователей ПК. Следовательно увеличение затрат влечет за собой снижение окупаемости.

6.4 Окупаемость рекламы с разбивкой по странам.

К плану работ
Проанализируем окупаемость рекламы с разбивкой по странам. Построим графики LTV и ROI, а также графики динамики LTV, CAC и ROI: передадим параметру dimensions столбец region.

Выводы

LTV - накопленная прибыль компании на одного пользователя в США выше чем в странах Европы. Динамика этого показателя на 14-ый день имеет пилообразный характер относительно горизонта. График динамики LTV США лежит выше остальных и он имеет меньшую амплитуду. Пики LTV Великобритании и Германии этого графика несколько раз превышают график США в летние месяцы. Стоимость привлечения в конце мая - начале июня в странах Европы падает до 0,4 и стабилизируется, а в США растет постоянно и ступенчатообразно. При этом ROI (окупаемость) в европейских странах становится выше уровня окупаемости начиная с 4-5 дня лайфтайма, а в США реклама не окупается и на 14 день лайфтайма. Можно сделать вывод, что давая рекламу в США - компания получала покупателей в странах Европы, поэтому опосредованные затраты на рекламу в Европе не учитываются в ее ROI, а целиком и полностью "зашиты" в ROI США. Кроме того уменьшение стоимости привлечение в европейских странах возможно связано с продолжительностью рекламных компаний в Европе оплаченных в начале. В любом случае пики прибыльности на одного покупателя в Европе не могут возникнуть на пустом месте при минимизации или отсутствии затрат на рекламу в Европе. Количество пиков примерно совпадает с количеством пиков на графиках удержания и привлечения причем как в США, так и в Европе. Отсюда вывод: рекламные вложения в США прямо влияют на маркетинговые показатели в европейских странах. Однако именно из-за этого окупаемость рекламных вложений в США не рентабильна. Взаимовлияние рекламных затрат на LTV в Европе очевидна, но определить насколько американская реклама искажает динамику европейских показателей без дополнительных метрик невозможно. Есть стойкая уверенность что американские каналы имели охват и европейских стран, вопрос лишь в распределении рекламных бюджетов исследуемой компании по странал трансляции рекламы американскими каналами.

6.5 Окупаемость рекламы с разбивкой по рекламным каналам.

К плану работ
Проанализируем окупаемость рекламы с разбивкой по рекламным каналам. Построим графики LTV и ROI, а также графики динамики LTV, CAC и ROI.

Выводы

LTV накопленная прибыль в пересчете на одного покупателя за 14 дней быстрее всего растет на таких каналах как lambdaMediaAds, TipTop и WahooNetBanner. FaceBoom и AdNonSense LTV имеет старт этого показателя выше, но наклон кривой, а значит скорость накопления ниже. Остальные каналы накапливают прибыль на человека за 14 дней плохо и медленно.

Самые высокие пики LTV дает сеть lambdaMediaAds, причем пики совпадают с незначительными увеличениями в CAC (стоимость привлечения) на этом канале - можно сделать вывод что незначительные вложения в рекламу на этом канале дают мультиплицирующий эффект на поступление прибыли от клиентов с этого канала привлечения.

Канал TipTop при увеличении стоимости привлечения клиентов (скорее всего в виде увеличения рекламного бюджета) не дает схожей динамики по прибыли на человека. Скачки есть, а роста аналогичного затратам нет. Можно сделать вывод, что клиенты, пришедшие с этого канала плохо удерживаются и также плохо покупают.

Затраты на привлечение клиентов росли только в сети TipTop - это скорее всего китайская сеть коротких видеороликов, локализованная в США, из нее интересные видеоролики вирусятся в другие соцсети за исключением FaceBoom. Можно предположить, что все другие каналы, распространяющие видео контент и, в том числе и ролики из TipTop, пассивно продвигают контент компании. Поэтому параллельная рекламная компания в таких сетях и дает мультиплицирующий эффект. Самую сильную связь я вижу с сетью lambdaMediaAds.

RocketSuperAds - источник в который почти не вкладывался рекламный бюджет и он дважды падал в конце июля и в конце августа, но она тоже выдавала пики в 14-ый день лайфтайма. Это может быть связано с дискретностью выдачи рекламы компании в этом источнике или с рекламой в TipTop.

ROI ниже уровня окупаемости у трех каналов: TipTop. FaceBoom и AdNonSense. WahooNetBanner и OppleCreativeMedia - эти 2 канала окупались в течении 5 дней, остальные каналы выходили на окупаемость за 1-3 дня. Лучше всех дело обстоит у канала YRabbit, реклама на этом канале окупалась за 1 день и к 14 дню достигала 250%.

Динамика окупаемости рекламных затрат показала что сеть YRabbit в июле давала пики до 700%, lambdaMediaAds до 580%, MediaTornado до 530%. При этом стоимость привлечения в этих каналах стабильно низкая.

При этом высокозатратные сети TipTop, FaceBoom и AdNonSense - стабильно ниже уровня окупаемости на 14-ый день лайфтайма. Могу предположить что без имиджевой рекламы в крупных и дорогих каналах TipTop, FaceBoom и AdNonSense не было бы отдачи от остальных каналов.

Если смотреть в разрезе Канал привлечения - регион, то не окупаются:
RocketSuperAds(United States),
AdNonSense (UK),
AdNonSense (France),
WahooNetBanner (France),
TipTop (United States) - хуже всего

По паре девайс - регион, не окупаются:
MAC(Germany, United States) IPhone(Germany) PC(United States)

По паре канал привлечения - девайс, не окупаются:
TipTop, AdNonSense, FaceBoom на всех устройствах.

6.6 Окупается ли реклама, направленная на привлечение пользователей в целом?

К плану работ

В целом реклама не окупается - см. вы воды выше при рассчете показателей без учета органических пользователей.

Если же мы добавляем органических пользователей - то на 14 день лайфтайма мы выходим на окупаемость. Если бы затраты на привлечение не увеличивались так стремительно, то ROI в динамике бы тоже не падал и маркетинговый отдел компании достиг бы показателей окупаемости из бизнес-плана компании.

6.7 Какие устройства, страны и рекламные каналы могут оказывать негативное влияние на окупаемость рекламы?

К плану работ

6.8 Конверсия пользователей с разбивкой по устройствам

К плану работ

Проверим конверсию пользователей и динамику её изменения с разбивкой по устройствам. Посчитаем и визуализируем конверсию, вызвав функции get_conversion() и plot_conversion() и передав параметру dimensions столбец device:

Вывод:

Конверсия покупателей привлеченных за счет рекламного бюджета выше всего на девайсах Mac, немного хуже на IPhone. Хуже всего обстоит дело с конверсией на персональных компьютерах, она на 26% ниже на 14 день лайфтайма. Если сопоставить с САС на этих же девайсах, то разница будет в 50%. Затраты на привлечение на Android на 20% ниже, а конверсия всего на 10% с того же устройства.

Таким образом низкие затраты напрямую не существенно сказываются на привлечении пользователей через девайсы. Поэтому можно сократить рекламу на девайсах компании Apple.

6.9 Удержание пользователей с разбивкой по устройствам

К плану работ

Проверим удержание пользователей и динамику его изменения с разбивкой по устройствам. Вызовем функции get_retention() и plot_retention(), чтобы рассчитать и отразить на графиках этот показатель,передав параметру dimensions столбец device:

Вывод:

Удержание пользователей лучше на устройствах PC и он выше чем на устройствах компании Apple на 30%. В динамике удержание лучше на 14 день лайфтайма у девайсов PC и Mac. Возможн это связано с отсутствием мобильности устройств. Тогда с целью удержания клиентов лучше ориентироваться на эти 2 типа устройств. Есть затухание амплитуды удержания в течении эксперимента, значит большие вливания в рекламу увеличивает прогнозируемость отклика рынка.

6.10 Конверсия и удержание пользователей с разбивкой по странам

К плану работ

Конверсия пользователей с разбивкой по странам

Вывод:

Конверсия и удержание пользователей с разбивкой по странам Конверсия в США в 2 раза больше чем в европейских странах, кривая динамики имеет меньшую амплитуду, В Европе есть пик конверсии в середине мая, в Великобритании в середине августа в Германии в конце сентября. Конверсия на 14 день лайфтайма в США в среднем выше на 78%

6.11 Удержание пользователей с разбивкой по странам

К плану работ

Проверим удержание пользователей и динамику его изменения с разбивкой по странам. Вызовем функции get_retention() и plot_retention(), чтобы рассчитать и отразить на графиках этот показатель,передав параметру dimensions столбец region:

Вывод:

Удержание платящих пользователей США ниже на 0,1 чем у европейских стран, то есть в США компания ужерживала на 20-50% хуже чем в Европе (начало и конец эксперимента) Только кривая динамики удержание платящих пользователей на 14-день в США имеет непрерывный характер. Кривые остальных стран имеют разрывы. Меньше всего разрывов у кривой удержания Великобритании, больше всего разрывов в Германии. Получается что в отдельные периоды в европейских странах вообще не было удержанных пользователей на 14-ый день, или он просто не доживают до этого лайфтайма. Это свидетельствует о меньшем количестве пользователей из этих стран, и о получившейся дискретности наблюдений из-за этого. Получается что данный временной промежуток эксперимента выбран некорректно. Амплитуда колебаний графика удержаний в европейских странах на 14-ый день в 4,5 раза выше чем в США

6.12 Конверсия и удержание пользователей с разбивкой по каналам

К плану работ

Конверсия

Конверсия пользователей с разбивкой по каналам Проверим конверсию пользователей и динамику её изменения с разбивкой по каналам. Посчитаем и визуализируем конверсию, вызвав функции get_conversion() и plot_conversion() и передав параметру dimensions столбец channel:

Вывод:

Самая высокая конверсия пользователей через канал FaceBoom(0,12) и AdNonSense(0,11), Далее следуют по уровню конверсии lambdaMediaAds(0,1), TipTop(0,09) и RocketSuperAds(0,074) WahooNetBanners(0,05). Остальные каналы имеет конверсию порядка 0,04. Характерно то что на 6-ой день лайфтайма все кривые конверсии стабилизирубтся в прямые. В динамике на 14 день лайфтайма FaceBoom и TipTop имеют самые сглаженные кривые из заметных на графике. Маленькие каналы с низкой конверсией тоже обладают низкой амплитудой колебаний, но это скорее от малого числа пользователей пришедших через эти каналы. Из высокоамплитудных каналов можно отметить lambdaMediaAds(амплитуда (0,2), AdNonSense (0,09) и RocketSuperAds(0,08) - возможно рекламные компании в этих сетях были кратковременные, массированные и не часто, поэтому конверсия имеет такие колебания. Явного затухания конверсии во всех каналах не наблюдается.

Удержание пользователей с разбивкой по каналам

Проверим удержание пользователей и динамику его изменения с разбивкой по каналам. Вызовем функции get_retention() и plot_retention(), чтобы рассчитать и отразить на графиках этот показатель,передав параметру dimensions столбец channel:

Выводы:

Самый низкий уровень удержания платящих пользователей через канал FaceBoom(0,22 - 0) и AdNonSense(0,29 - 0). У остальных каналов уровень удержания в среднем падает от 0,55 до 0,2.
На графике динамики непрерывны лишь 2 линии FaceBoom и TipTop. Остальные как и в случае с удержанием по странам имеют рваный характер. Таким образом можно предположить, что во всех каналах кроме FaceBoom и TipTop реклама давалась дискретно и на определенные страны, несмотря на такую рекламную политику платящие клиенты удерживались гораздо лучше чем в FaceBoom и TipTop. Удержание TipTop намного выше чем FaceBoom. Получается что лишь рекламные вложения в TipTop стабильно хорошо удерживали платящих пользователей.

6.13 Выводы по разделу 6

К плану работ

Оценив окупаемость рекламы, можно сделать такие выводы:

Если смотреть в разрезе Канал привлечения - регион, то не окупаются:
RocketSuperAds(United States),
AdNonSense (UK),
AdNonSense (France),
WahooNetBanner (France),
TipTop (United States) - хуже всего

По паре девайс - регион, не окупаются:
MAC(Germany, United States) IPhone(Germany) PC(United States)

По паре канал привлечения - девайс, не окупаются:
TipTop, AdNonSense, FaceBoom на всех устройствах.

7 Конверсия и удержание по макрорегионам

К плану работ

Вывод

если рассмотреть 2 макрорегиона - США и Европа, то конверсия в США в 2 раза выше чем в Европе, а удержание в Европе больше на 70%. То есть для создания постоянных каналов плательщиков больше подходит регион Европа. Причем, в середине мая конверсия была равной, но потом в увеличением бюджета в США конверсия в Европе просела. Динамика же удердания в Европе проседала лишь в начале августа и до уровня США, в остальное врямя она была значительно выше. Возможно это связано с отпускным периодом в Европе.

8 Выводы

К плану работ

Выделим причины неэффективности привлечения пользователей.

Разберем причины неэффективности привлечения пользователей компании выпускающей приложение Procastinate Pro+. Для этого мы провели исследовательский анализ взяв данные о посещениях сайта, стоимости рекламных затрат и данные покупок пользователей. Рассмвтривались пользователи, привлеченные на сайт с 1 мая 2019 года до 27 октября 2019 года. Рзультаты исследования: Больше всего платящих пользователей из США, пришли через канал FaceBoom и используют девайсы Mac.
Больше всего посетителей пришло через бесплатное привлечение по естественным каналам, обозначенные как Organic, однако и конверсия в покупателей через этот канал самая низкая. Минимальная конверсия в покупателей во Франции, в абсолютном выражении минимум покупателей пришло из Германии. С другой стороны Германия показала самую большую долю платящих клиентов из всех Европейских стран и вложения в эту страну оказались эффективными. Покупатели и посетители сайта сайта предпочитают мобильные устройства iPhone и Android. Максимальная конверсия в платящих клиентов у пользователей Mac. В абсолютных цифрах меньше всего покупателей пришли через персональные компьютеры. Максимальное число посетителей и покупателей дал канал FaceBoom. Худшим каналом по количеству платящих пользователей оказался MediaTornado. Худшим по конверсии оплачиваемых каналов стал канал OppleCreativeMedia. Вложения в эти 2 последние каналы были неэффективны. Общая сумма рекламных затрат 105497, общая выручка 215962.88. Больше всего денег потратили на рекламные компании TipTop и FaceBoom, при этом их совместный рекламный бюджет составляет более 82%. Самыми дешевыми оказались рекламные компании YRabbit. Самыми "дорогими" стали пользователи, привлеченные через рекламные компании TipTop. Среди пользователей, пришедших благодаря рекламе, дешевле всего обошлось привлеченние одного пользователя через канал Leapbob. Медианная стоимость привлечения покупателей в TipTop в 3 раза превышает CAC во втором по бюджету канале FaceBoom. Если оценить процент конвертации в покупателей к затратам на привлечение - то самым эффективным каналом привлечения окажется RocketSuperAds, также перспективными будут вложения в каналы YRabbit, MediaTornado и LeapBob. Рассмотрев 2 варианта с посетителями пришедшими естественным путем и без мы получили 2 разных результата. Если учитывать покупателей из канала Organic, то проект вышел на окупаемость к 14-му дню лайфтайма. Однако в задании надо оценить эффективность вложения в рекламу, для привлечения пользователей поэтому посетителей и покупателей из этого канала в дальнейшем мы не учитываем. Исключив из анализа органических пользователей, и установив горизонт анализа 2 недели - выполнили оценку окупаемости рекламы о эффективности привлечения. С помощью графиков LTV и ROI, а также графиков динамики LTV, CAC и ROI обнаружили, что: реклама не окупается, затраты на привлечение сильно увеличились за время эксперимента. Значит, проблема окупаемости может быть связана с увеличением рекламного бюджета. Проверив конверсию пользователей и динамику её изменения, выяснили, что в целом пользователи конвертируются хорошо, причём постоянно. Пользователей Mac и IPhone, проживающие в США и приходящие через рекламные компании в FaceBoom и AdNonSense обладают самой высокой конверсией, но хуже всего удерживаются, значит привлечение таким образом не эффективно. Проанализировали окупаемость рекламы с разбивкой по устройствам, странам и каналам привлечения выяснили, что: Стоимость привлечения в конце мая - начале июня в странах Европы падает до 0,4 и стабилизируется, а в США растет постоянно и ступенчатообразно. При этом ROI (окупаемость) в европейских странах становится выше уровня окупаемости начиная с 4-5 дня лайфтайма - значит это эффективно привлекать пользвателей в Европе, а в США реклама не окупается и на 14 день лайфтайма - это не эффективно. Предполагаем, что переключение рекламного бюджета на США связано с американской юрисдикцией каналов, которые имеют покрытие на весь мир. • В трех источниках: TipTop, FaceBoom и AdNonSense - привлечение не эффективно, реклама не окупается. • CAC пользователей, привлеченных каналом TipTop, сильно увеличивался от месяца к месяцу. Значит, проблема неэффективности привлечения может быть связана с неоправданным увеличением рекламного бюджета канала TipTop и неокупаемостью вложений. • Больше всего выручки принесли пользователи, пришедшие благодаря рекламной компании LambdaMediaAds, но самым прибыльным оказался канал YRabbit - привлечение через эти каналы было эффективным.

Возможные причины обнаруженных проблем и промежуточные рекомендации для рекламного отдела.

Краткие выводы и рекомендации для отдела рекламы:
Оценив окупаемость рекламы, можно сделать такие выводы: • В целом реклама, направленная на привлечение пользователей, не окупается из-за слишком больших трат на привлечение клиентов. Поэтому рекламный бюджет надо оптимизировать. • Расходы на рекламу для пользователей Mac и iPhone можно уменьшить, эти устройства и так эффективно приводят в сервис пользователей, но надо обратить внимание на конверсию пользователей в покупателей на этих девайсах и увеличить удержание (рекомендуется выяснить причину слабого удержания). Также крайне негативное влияние на эффективномть привлечения оказали рекламные компании в США и реклама в канале TipTop. Вложения не окупились продажами. Расходы на эти рекламные компании также рекомендуется сократить или при подаче рекламы выбирать регион не только США. • - Для повышения эффективности можно провести мероприятия по увеличению удержания пользователей проживающих в США и приходящих через рекламные компании в FaceBoom и AdNonSense: выяснить проблемы, с которым сталкиваются пользователи при использовании сервиса. • - Также для привлечения большего количества пользователей можно увеличить количество рекламных компаний в маленьких каналах например YRabbit, т.к. в рассмотренном периоде он оказался самым прибыльным в расчете на одного пользователя, при этом привлек относительно небольшое число клиентов. Также рекомендуется давать рекламу в RocketSuperAds, MediaTornado, LeapBob так как они весьма эффективны при малых вложениях.